📘 NLP · Transformer BERT 30章 实战目录

✨ 友好 · 从零到部署
01NLP与深度学习基础
  • 自然语言处理概述
  • 深度学习在NLP中的应用
  • TensorFlow环境搭建与基础
02词嵌入与文本表示
  • One-hot编码
  • Word2Vec原理
  • GloVe与FastText
  • TensorFlow实现词嵌入层
03循环神经网络RNN
  • RNN原理与结构
  • 双向RNN
  • 深层RNN
  • TensorFlow实现文本分类
04LSTM与GRU
  • 长短期记忆网络原理
  • 门控循环单元
  • 梯度消失问题解决
  • TensorFlow实现情感分析
05Seq2Seq与注意力机制
  • 编码器-解码器架构
  • 注意力机制原理
  • Bahdanau与Luong注意力
  • TensorFlow实现机器翻译
06Transformer模型架构
  • 自注意力机制
  • 多头注意力
  • 位置编码
  • 编码器与解码器结构
  • TensorFlow实现Transformer块
07BERT模型原理
  • 预训练与微调范式
  • Masked Language Model
  • Next Sentence Prediction
  • BERT输入表示
08BERT变体与演进
  • RoBERTa
  • ALBERT
  • DistilBERT
  • ELECTRA
  • SpanBERT等模型对比
09HuggingFace Transformers库
  • 库的安装与使用
  • 模型加载与保存
  • Tokenizer详解
  • Pipeline快速推理
10TensorFlow Hub与BERT
  • TensorFlow Hub介绍
  • 加载预训练BERT模型
  • 特征提取与微调
11文本分类实战(一)
  • 数据集准备与预处理
  • BERT Tokenizer使用
  • TensorFlow Dataset构建
12文本分类实战(二)
  • 构建BERT微调模型
  • 训练循环与回调函数
  • 模型评估与保存
13文本分类实战(三)
  • 多标签分类
  • 多类别分类
  • 模型部署与推理优化
14命名实体识别NER实战
  • NER任务介绍
  • 数据标注格式(BIO/BIOS)
  • BERT+CRF模型构建
15NER实战进阶
  • 序列标注评估指标
  • Span预测方法
  • 实体链接与关系抽取简介
16问答系统实战(一)
  • 抽取式问答任务
  • SQuAD数据集介绍
  • BERT for QA模型构建
17问答系统实战(二)
  • 答案边界预测
  • 损失函数设计
  • F1与EM评估指标
18问答系统实战(三)
  • 生成式问答
  • T5与BART模型
  • 检索增强生成RAG简介
19文本相似度与语义匹配
  • Sentence-BERT原理
  • 双塔模型架构
  • 对比学习损失函数
20语义匹配实战
  • 计算句子嵌入
  • 余弦相似度计算
  • 语义搜索系统搭建
21文本生成与摘要
  • GPT系列模型简介
  • 自回归生成
  • Beam Search与采样策略
22摘要生成实战
  • Pegasus与BART模型
  • 摘要质量评估(ROUGE指标)
  • TensorFlow实现
23情感分析进阶
  • 细粒度情感分析
  • 方面级情感分析
  • 情感原因抽取
24多任务学习与BERT
  • 多任务学习架构
  • 共享编码器与任务特定头
  • 梯度冲突处理
25模型压缩与量化
  • 知识蒸馏原理
  • 模型剪枝
  • 量化感知训练
  • TensorFlow Lite部署
26ONNX与模型优化
  • ONNX格式转换
  • TensorRT加速
  • 推理性能优化技巧
27分布式训练与TPU
  • 数据并行与模型并行
  • TensorFlow分布式策略
  • TPU训练BERT
28模型可解释性
  • 注意力可视化
  • LIME与SHAP
  • Integrated Gradients
  • 模型调试
29生产环境部署
  • TensorFlow Serving
  • Docker容器化
  • RESTful API构建
  • 监控与日志
30项目实战:端到端NLP系统
  • 需求分析 · 数据管道
  • 模型选型 · 训练部署
  • 全流程 · 课程总结与展望